#Sample Efficiency

4 篇

EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning

环境感知调度：提升智能体强化学习采样效率

🧭 Agent RL 环境感知调度与批采样优化

PKU · XJTU · THU · Samsung Research · CASIA

通过环境感知调度任务与环境的 rollout 批次，提升 Agent 强化学习样本效率

📌 工作参考价值（3 点）

在电商 Agent（导购、客服）的 RL/偏好训练中，不同任务环境（交易流程、工具 API、校验逻辑）成本与难度差异大，可借鉴 EnvSched 思路：用历史 rollout 的 reward 方差/不确定性做任务调度，优先采样能拉大策略差异的样本，节省昂贵交互。
构建任务-环境图：企业内部可复用工具、状态定义和验证器关系，构建图并用节点相似度传播统计量，预测信息量，无需额外 pilot 采样即可冷启动调度。
通过 environment quota + similarity penalty 控制 batch 多样性，避免重复观察相似任务，提升每步梯度信息密度；该机制可直接迁移到多场景推荐/对话策略联合训练。

Training | 2026-10-27 | cs.LG | score 7/10

语言智能体中动作执行与预测的协同进化

🧭 语言智能体 RL 训练 · 动作预测辅助目标

University of Illinois Urbana-Champaign · University of California San Diego · Meta AI

在成功轨迹上以未来动作序列为多步辅助目标，让策略骨干同时执行与预测并共同进化，提升样本效率且无推理开销

📌 工作参考价值（4 点）

长链路 Agent 训练可直接复用：在电商导购、搜索比价、下单等多步任务中，可只对成功会话构造“从中间历史预测未来动作序列”的辅助损失，同一动作在不同历史位置反复监督，能显著压缩所需的成功轨迹数量；适合在 WebShop 类仿真环境先跑通再迁到真实场景。
无推理侧负担，适合在线部署：该方法不增加额外模型、不改变单步推理流程，可在现有 policy 模型上直接加辅助 loss 训练；对推荐/搜索 Agent 的服务架构几乎零侵入。
比 value/observation 辅助目标更稳定：若业务中 agent 奖励稀疏，且页面日志、终端输出长且嘈杂，可优先尝试这种多步动作预测目标，而不是拟合下一步观测或单标量价值。
时间集成可迁移到生成式推荐：同一 item 从不同用户历史前缀反复预测，等价于多步预测正则，或可缓解长序列生成中的 exposure bias，值得在 Semantic ID 或生成式重排任务中试验。

Training | 2026-10-14 | cs.LG | score 8/10

ViSkill：用演化视觉原生技能强化 VLM 智能体

🧭 Agent 强化学习 · 视觉技能库

Zhejiang University

提出 ViSkill，将成功轨迹编码为视觉原生技能卡，检索引导推理与奖励塑造，形成技能库与策略优化闭环

📌 工作参考价值（4 点）

视觉原生技能表示：在电商导购/UI 自动化 Agent 中，截图、布局标注等视觉信息不要全部文本化；把成功交互的关键帧保存为“视觉技能卡”，检索后直接作为多模态上下文，减少空间关系丢失，提高策略泛化。
技能库与策略优化闭环：将成功轨迹蒸馏回技能库，并让检索技能同时用于推理和奖励塑形，使技能积累与策略改进互相强化；业务 Agent 可用类似机制积累成功会话片段，提升样本效率。
冷启动机制：用少量高质量演示初始化技能库，加速早期 RL 训练；新业务或新场景上线时，可从历史专家轨迹构建种子技能库，减少冷启动成本。
奖励塑形技巧：引入检索技能相似度作为辅助奖励，有助于稳定训练，但需监控技能库陈旧度避免误导策略。

Agent | 2026-10-08 | cs.CL | score 7/10

样本高效地从智能体经验中学习

🧭 Agent 经验蒸馏 · 样本高效学习 ★ 深度解读

Monash University · ByteDance Seed

提出经验蒸馏，无需额外环境交互即可将 ICL 增益蒸馏到模型权重，保留 64.8% 增益，比 SFT 高 17 倍，比 RL 节省 9.6 倍样本

📌 工作参考价值（4 点）

在对话式推荐或 Agent 系统中，利用用户历史交互作为上下文进行 ICL，再通过单步经验蒸馏将改进的行为固化到模型权重，可大幅减少线上推理时的上下文长度和成本。
分支打包技术能够在单个训练序列中高效利用长交互历史中的多个决策点，可迁移至用户行为序列建模，如将多次推荐点击/转化作为监督信号紧凑打包训练。
模型自由的单步蒸馏避免了世界模型误差和额外的线上交互，适用于推荐场景中的离线日志训练，无需重新部署模型到线上试验即可提升策略。
可借鉴多任务经验蒸馏实现零样本或小样本任务泛化，通过多用户群体的历史经验蒸馏提升模型对新用户的冷启动表现。

Agent | 2026-07-22 | HF Daily | score 8/10